• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明係關於一種用於提供包括若干個像素之一輸出影像之一估計之一信號雜訊比平均值之方法，其中該輸出影像之每一像素具有一像素值。該方法包括：提供劃分成若干組格之一影像直方圖，該影像直方圖包括關於在該輸出影像之該等像素當中的像素值之分佈之資訊，每一組格包括具有在一預定範圍內之像素值之一像素組；針對該影像直方圖之每一組格，賦予一信號雜訊比值；針對該影像直方圖之每一組格，用在彼組格之該像素組中之像素之數目對彼組格之該信號雜訊比值加權；對該等組格之該等經加權信號雜訊比值求和；及將該等組格之經加權信號雜訊比值之該總和除以該輸出影像之像素之總數目或在該影像直方圖之該等組格中之像素之總數目。本發明亦係關於一種攝影機(1)，該攝影機經配置用於提供包括若干個像素之一輸出影像之一估計之一信號雜訊比平均值，其中該影像之每一像素具有一像素值。
    公开号:TW201312472A
    申请号:TW101125562
    申请日:2012-07-16
    公开日:2013-03-16
    发明作者:Filip Johansson
    申请人:Axis Ab；
    IPC主号:H04N5-00
    专利说明:
    用於提供一影像之估計之信號雜訊比平均值之方法及攝影機
    本發明係關於一種用於提供一輸出影像之一估計之一信號雜訊比平均值之方法。本發明亦係關於一種經配置用於提供一輸出影像之一估計之一信號雜訊比平均值之攝影機。
    藉助使用影像感測器之數位攝影機擷取之影像將自多種源(諸如讀取雜訊ó r 及/或光子散粒雜訊ó ph )拾取雜訊。此等影像之諸多其他使用要求將減少在該等影像中之雜訊。為了減少影像中之雜訊，使用雜訊濾波。當將雜訊濾波應用於一影像時，重要的係按照在該影像中存在之雜訊之多少調適雜訊濾波方法及雜訊濾波之強度。一信號雜訊比值(SNR值)可相對於在影像中之雜訊而量化一影像信號之強度且因此當將雜訊濾波應用於一影像時，該信號雜訊比值係一重要參數。特定而言，當將雜訊濾波應用於一影像時，一整個影像之一估計之SNR平均值可係極有用的。一SNR平均值之又一領域之使用係將SNR平均值用作何時啟動一攝影機中之白天/夜間功能性之一指示。指示影像雜訊相對於影像信號係大的或增加之一小或一減小之SNR平均值可(舉例而言)指示需要啟動攝影機之夜間功能性。一SNR平均值之又一領域之使用係在自動曝光演算法中將SNR平均值用於尋找產生一可接受之雜訊位準之一曝光時間。
    一隨機變量S之SNR值係定義(用於成像之定義)為： 其中E[S]係信號S之期望值，且ó係信號S之標準差。在一影像處理管線中，就處理容量而言，使用方程式(A)計算來自影像資料之SNR值係極昂貴的且因此需要一所估計SNR值。針對使用一單曝光來產生一輸出影像之攝影機，此經常藉由將在場景中之平均照度值用作信號之期望值並將預計算讀取雜訊值用於信號之標準差而完成。然而，此方法將不適用於多重曝光影像(諸如多重曝光HDR影像)。此乃因多重曝光影像由具有不同曝光時間之自不同曝光拼接之影像組成，此(舉例而言)暗示雜訊位準及/或雜訊源可在經拼接影像之不同曝光區域之間變化，此亦暗示在經拼接影像之不同曝光區域中SNR值係不同的。
    因此，需要一種用於估計一影像之一SNR平均值之替代方法。
    鑒於上文，本發明之一目標係提供一種用於估計一影像之一SNR平均值之方法及攝影機。
    本發明之又一目標係提供一種適於估計自複數個影像拼接之一輸出影像之一SNR平均值之方法及攝影機。
    特定而言，根據本發明之一第一態樣，提供一種用於提供包含若干個影像像素之一輸出影像之一估計之一信號雜訊比平均值的方法，其中該影像之每一影像像素具有一像素值。該方法包括：提供劃分成若干組格(bin)之一影像直方圖，該影像直方圖包括關於在該輸出影像之該等影像像素當中的像素值之分佈之資訊，每一組格包括具有在一預定範圍內之像素值之一影像像素組；針對該影像直方圖之每一組格，賦予一信號雜訊比值；針對該影像直方圖之每一組格，用在彼組格之該影像像素組中之影像像素之數目對彼組格之該信號雜訊比值加權；對該等組格之該等經加權信號雜訊比值求和；將該等組格之經加權信號雜訊比值之該總和除以該輸出影像之影像像素之總數目或在該影像直方圖之該等組格中之影像像素之總數目。
    根據此，達成一種用於提供一影像之一所估計SNR平均值之方法。藉由提供一輸出影像之一所估計SNR平均值，將可能使用此信號雜訊比平均值以對該輸出影像執行雜訊濾波。此外，該所估計SNR平均值亦可用於啟動一攝影機中之白天/夜間功能性。又一領域之使用係在自動曝光演算法中使用SNR平均值。關於上文所闡述之方法之一重要益處係其以一低計算成本提供影像之一所估計SNR平均值。
    該輸出影像可係包括若干個影像像素之任何種類之影像，該輸出影像之每一影像像素具有一像素值。該輸出影像可係藉由拼接複數個其他影像而獲得之一影像。此一經拼接輸出影像可係一多重曝光影像，諸如藉由拼接兩個或兩個以上影像而獲得之一多重曝光HDR影像、一全景影像或任何其他種類之影像。該輸出影像亦可係一影像之一子組。亦即，該輸出影像可係來自另一影像之一剪貼影像。
    該輸出影像之一影像像素之像素值通常係來自一影像感測器之一輸出信號或若干輸出信號之組合。該影像感測器通常劃分成若干感測器像素。該影像感測器之該等感測器像素中之每一者經配置以輸出一像素值。該像素值隨在該影像感測器之一對應感測器像素中之所接收光子之數目而變。該像素值可(舉例而言)由來自該影像感測器單元之類比轉數位單位或表示來自影像感測器之輸出之其他量體現。該等感測器像素中之至少某些感測器像素之像素值構成由該影像感測器擷取之一影像之對應影像像素之像素值。亦即，來自該等感測器像素中之某些感測器像素之像素值可(舉例而言)用以計算暗電流及/或該影像感測器之其他特性，來自該等感測器像素中之某些感測器像素之其他像素值可(舉例而言)視為與影像不相關，且某些其他感測器像素之像素值可用以導出由該影像感測器擷取之影像之像素值。
    包括關於在輸出影像之影像像素當中的像素值之分佈之資訊之影像直方圖可由用以擷取輸出影像之影像感測器提供。在一多重曝光影像之情形中，影像直方圖表示在組合複數個曝光之後的像素值之分佈。在影像直方圖中之每一組格表示一像素值範圍。因此，影像直方圖包括關於在每一組格內具有一像素值之影像像素之數目之資訊。
    根據本發明之一實施例，該輸出影像可包括具有源自複數個影像之影像像素之像素值之影像像素。亦即，該輸出影像可係藉由拼接複數個影像而形成之一影像。因此，該輸出影像可係一多重曝光影像，諸如藉由組合兩個或兩個以上影像而形成之一多重曝光HDR影像或一全景影像等。
    根據本發明之另一實施例，該複數個影像可具有不同曝光時間。此係諸如一多重曝光HDR影像之一多重曝光影像之情形。
    根據本發明之另一實施例，在該輸出影像中之一第一像素之像素值可係來自該複數個影像中之一第一影像之一像素之一像素值，且在該輸出影像中之一第二像素之像素值可係來自該複數個影像中之一第二影像之一像素之一像素值。亦即，該輸出影像包括包括來自用以形成該輸出影像之該複數個影像中之僅一個影像之影像資料之像素。此適用於任何種類之多重曝光輸出影像。
    根據本發明之再一實施例，該輸出影像之像素中之至少一者之一像素值可係藉由組合來自該複數個影像中之至少兩個影像之像素之像素值而獲得之一像素值。亦即，該輸出影像包括包括來自用以形成該輸出影像之該複數個影像中之至少兩個影像之影像資料之像素來自該複數個影像中之至少兩個影像之像素之像素值可以熟習此項技術者已知之諸多不同方式組合。下文在對實施例之闡述中闡述組合來自該複數個影像中之至少兩個影像之像素之像素值之一個此種方式。在US2009/0059039及US20100310190中闡述組合來自該複數個影像中之至少兩個影像之像素之像素值之其他方式。可針對任何種類之多重曝光影像組合來自兩個或兩個以上影像之像素值。在一多重曝光HDR影像之情形中，此對應於其中使用來自該複數個影像中之至少兩個影像之影像資料以達成該輸出影像之較高動態範圍之過渡區域。在一全景影像之情形中，此對應於具有來自構成該全景影像之影像中之至少兩者之貢獻之影像之一區域，亦即，構成該全景影像之該至少兩個影像之重疊區域。
    根據本發明之又一實施例，針對包括具有藉由組合來自該複數個影像中之至少兩個影像之像素之像素值而獲得之一像素值之該像素的該影像直方圖之該等組格中之組格，賦予一信號雜訊比值之該動作可包括：組合來自該複數個影像中之該至少兩個影像之該等像素之該等像素值之信號雜訊比值。
    根據本發明之另一態樣，提供一種電腦可讀記錄媒體。該電腦可讀記錄媒體已在其上記錄有用於當在具有處理能力之一裝置上執行時實施根據上文所闡述之實施例中之任一者之方法之一程式。
    根據本發明之再一態樣，提供一種經配置用於提供包括若干個像素之一輸出影像之一估計之一信號雜訊比值之攝影機，該影像之每一像素具有一像素值。該攝影機包括：一影像感測器，其經配置以擷取用以導出該輸出影像之該等像素之像素值之像素值；一影像直方圖提供器，其經配置以提供包括關於在該輸出影像之該等像素當中的像素值之分佈之資訊之一影像直方圖，該影像直方圖之每一組格包括具有在一預定範圍內之像素值之一像素組；一信號雜訊比值賦值器，其經配置以針對該影像直方圖之每一組格賦予一信號雜訊比值；及一計算器，其經配置以藉由以下方式計算該信號雜訊比值：針對該影像直方圖之每一組格，用在彼組格之該像素組中之像素之數目對彼組格之該信號雜訊比值加權；對該等組格之該等經加權信號雜訊比值求和；及將該等組格之經加權信號雜訊比值之該總和除以該輸出影像之像素之總數目或在該影像直方圖之該等組格中之像素之總數目。
    根據本發明之一項實施例，該攝影機可進一步包括一影像組合器，該影像組合器經配置以組合源自由該影像感測器擷取之複數個影像之像素之像素值以形成該輸出影像。
    根據本發明之另一實施例，該複數個影像可使用不同曝光時間來擷取。
    根據本發明之另一實施例，該影像組合器可經配置以使用來自該複數個影像中之一第一影像之一像素之一像素值形成該輸出影像之一第一像素之像素值，且使用來自該複數個影像中之一第二影像之一像素之一像素值形成該輸出影像之一第二像素之像素值。
    根據本發明之再一實施例，該影像組合器可經配置以組合來自由該影像感測器擷取之該複數個影像中之至少兩個影像之像素之像素值以形成該輸出影像之該等像素中之至少一個像素之一像素值。
    根據本發明之又一實施例，該信號雜訊比值賦值器經配置以組合用以獲得該輸出影像之該等像素中之該至少一個像素之該等像素值的該複數個影像中之該至少兩個影像之像素之像素值之信號雜訊比值以針對包括該輸出影像之該等像素中之該至少一個像素的該影像直方圖之該等組格中之組格賦予該信號雜訊比。
    根據本發明之另一實施例，該攝影機進一步包括一記憶體，該記憶體包括隨像素值而變之信號雜訊比值之表格或用於計算隨像素值而變之信號雜訊比值之一預定義函數及參數值。
    根據本發明之再一實施例，影像直方圖之每一組格之信號雜訊比值取決於影像感測器之溫度。
    現在將參考展示本發明之實施例之附圖更詳細地闡述本發明之此等及其他態樣。不應將該等圖視為將本發明限於特定實施例，相反，其用於解釋及理解本發明。貫穿該等圖，相同編號指代相同元件。
    就處理器容量而言，使用方程式(A)來計算一SNR平均值係昂貴的且其將不會給出經拼接輸出影像(如多重曝光影像)之一準確結果。
    本發明以一低處理成本解決了提供一輸出影像之一估計之一SNR平均值之問題。特定而言，本發明可用於提供一經拼接輸出影像之一所估計SNR平均值，且尤其係包括來自在不同曝光時間登記之複數個影像之影像資料的一經拼接輸出影像之一所估計SNR平均值。
    可使用一多重曝光技術來產生經拼接輸出影像以改良影像之動態範圍(有時亦可稱為高動態範圍(HDR)、寬動態範圍(WDR)或經擴展動態範圍技術之一技術區)。另一選擇係，可使用一全景技術(亦即，拼接複數個影像以達成一全景視圖)來產生經拼接輸出影像。由於包括使用(舉例而言)不同曝光時間擷取之影像資料之一經拼接輸出影像之本質(舉例而言，此暗示雜訊位準及/或雜訊源可在該經拼接影像之不同曝光區域之間變化)，因此SNR值將在該經拼接輸出影像之不同影像像素之間變化，參見下文關於一經拼接輸出影像(諸如一多重曝光影像)之影像像素之像素值之SNR值的一更詳細論述。因此，通常在闡述輸出影像之SNR時，一所估計SNR平均值將係有益的。舉例而言，所估計SNR平均值可用作用於輸出影像之雜訊濾波及/或啟動一攝影機中之白天/夜間功能性及/或在一自動曝光演算法中尋找一適合曝光時間之輸入。
    關於本發明之一重要益處係其以一低計算成本提供輸出影像之一所估計SNR平均值。
    總之，用於計算一所估計SNR平均值之發明性方法包括：使用闡述輸出影像中之影像像素之像素值之分佈之一影像直方圖及用於針對影像直方圖之每一像素值範圍(亦即，針對影像直方圖之每一組格)計算所預期SNR值之預計算表格或一或多個預定義函數及參數。然後藉由以下方式計算所估計SNR平均值：針對影像直方圖之每一組格，用在彼組格之影像像素組中之影像像素之數目對彼組格之信號雜訊比值加權；對該等組格之該等經加權信號雜訊比值求和；及將該等組格之經加權信號雜訊比值之總和除以輸出影像之影像像素之總數目或在影像直方圖之該等組格中之影像像素之總數目。
    可藉由一影像感測器或一影像處理管線來提供闡述在輸出影像中之像素值之分佈之影像直方圖。在輸出影像係一經拼接輸出影像(諸如一多重曝光影像)之情形中，影像直方圖表示在組合複數個曝光之後的像素值之分佈。在影像直方圖中之每一組格表示一像素值範圍。像素值隨在影像感測器之一對應感測器像素中之所接收光子之數目而變。像素值可(舉例而言)由來自像素感測器之類比轉數位單位或表示影像感測器輸出之其他量體現。
    可使用影像感測器之校正資料、影像感測器之性質及/或影像感測器之溫度來計算或預定義在影像直方圖中之每一組格之SNR值之經預計算表格或預定義函數及參數。在包括來自不同影像(如舉例而言，具有不同曝光時間之影像)之影像資料之一經拼接輸出影像之情形中，藉由組合(例如，藉由按比例縮放及/或內插)用以形成組格之影像像素之不同影像中之至少兩者之影像像素之像素值的SNR值來計算包括藉由組合不同影像中之至少兩者之影像像素之像素值而形成之影像像素之該(等)組格的SNR值。下文論述如何組合來自不同影像(如舉例而言，使用不同曝光時間擷取之影像)之像素之像素值。此外，下文亦論述如何組合來自不同影像(尤其係具有不同曝光時間之影像)之影像像素之像素值之信號雜訊比值。
    可在攝影機之運行時間期間計算及/或在製作期間判定並在攝影機上儲存隨不同像素值而變之SNR值之經預計算表格及/或預定函數及/或參數。
    在圖1中，圖解說明用於提供包括若干個影像像素之一輸出影像之一估計之一SNR平均值之一攝影機1之一實施例，其中該影像之每一影像像素具有一像素值。
    攝影機1通常係任何種類之一數位攝影機。攝影機1可能夠使用單曝光技術或多重曝光技術擷取靜態影像及/或視訊影像。此外，攝影機1可連接至一數位網路。此外，攝影機1可係一可攜式攝影機、一固定攝影機或具有旋轉/傾斜功能性之一攝影機。攝影機1可係用於監視(monitor)應用之一攝影機，諸如監控(surveillance)目的、機器視覺、商店承諾(store compliance)、商務資訊等。為了促進理解本發明，未闡述與本發明不相關的一攝影機之標準特徵。攝影機1包括一外殼2、一透鏡3、一影像感測器4、一影像組合器6、一影像直方圖提供器8、一信號雜訊比值賦值器10、一計算器12、一處理器14及一記憶體16。
    處理器14經配置以處理及/或傳遞由攝影機1之其他組件中之任一者產生之資料。
    影像感測器4經配置以擷取影像。影像感測器4可係(舉例而言)用於登記入射光之一電荷耦合裝置(CCD)感測器、一互補金屬氧化物半導體(CMOS)感測器或類似物。影像感測器4包括若干個感測器像素。影像感測器4經配置以針對每一感測器像素輸出一像素值。每一感測器像素之像素值隨由該感測器像素接收之光子之數目而變。感測器像素中之至少某些感測器像素之像素值構成由影像感測器擷取之一影像之對應影像像素之像素值。亦即，來自感測器像素中之某些感測器像素之像素值可(舉例而言)用以計算暗電流及/或影像感測器之其他特性，來自感測器像素中之某些感測器像素之其他像素值可(舉例而言)視為與由影像感測器擷取之影像及影像之像素值不相關。
    針對本發明之某些應用，將由影像感測器4擷取之一單個影像視為輸出影像，此係當本發明用以估計包括來自由該影像感測器擷取之該單個影像之影像資料之一輸出影像的一SNR平均值時之情形。
    為了自由影像感測器4擷取之複數個影像形成一經拼接輸出影像，該攝影機包括影像組合器6。影像組合器6經配置以組合源自由該影像感測器4擷取之複數個影像之影像像素之像素值以形成輸出影像之影像像素，現在該輸出影像係一經拼接輸出影像。該經拼接輸出影像通常包括具有自複數個影像推導出之像素值之影像像素。一經拼接輸出影像可(舉例而言)包括：具有僅源自該複數個影像中之一第一者之像素值之影像像素、具有僅源自該複數個影像中之一第二者之像素值之影像像素及/或具有源自來自該複數個影像中之至少兩個影像之像素值之一組合之像素值之影像像素。此通常係當形成一多重曝光HDR影像或一多重曝光全景影像之情形。因此，影像組合器6經配置以使用來自該複數個影像中之第一影像之一影像像素之一像素值形成該輸出影像之一第一影像像素之像素值，且使用來自該複數個影像中之第二影像之一影像像素之一像素值形成該輸出影像一第二影像像素之像素值。此外，影像組合器6經配置以組合來自由影像感測器擷取之該複數個影像中之至少兩個影像之影像像素的像素值以形成該輸出影像之影像像素中之至少一個影像像素之一像素值。
    影像直方圖提供器8經配置以提供包括關於在輸出影像之影像像素當中的像素值之分佈之資訊之一影像直方圖。在一多重曝光影像之情形中，影像直方圖表示在組合複數個曝光之後的像素值之分佈。影像直方圖之每一組格包括具有在一預定範圍內之像素值之一影像像素組。因此，在影像直方圖中之每一組格皆表示一像素值範圍。因此，影像直方圖包括關於在每一組格內具有一像素值之影像像素之數目之資訊。
    信號雜訊比值賦值器10經配置以針對影像直方圖之每一組格賦予一信號雜訊比值。通常，選擇在組格之範圍內之一像素值並計算彼值之一對應SNR值。使用在組格之範圍中之哪一像素值可在本發明之不同實施方案之間變化。舉例而言，可使用在組格之範圍中之最大值或最小值。另一實例係使用在組格之範圍之中間之像素值。
    計算器12經配置以計算輸出影像之該信號雜訊比平均值。該計算器係藉由以下方式做出：針對影像直方圖之每一組格，用在彼組格之影像像素組中之影像像素之數目對彼組格之信號雜訊比值加權；對該等組格之該等經加權信號雜訊比值求和；及將該等組格之該等經加權信號雜訊比值之總和除以輸出影像之影像像素之總數目。另一選擇係，可將該等組格之經加權信號雜訊比值之總和除以在影像直方圖之組格中之影像像素之總數目。通常，此兩種替代方案給出相同值。此乃因在輸出影像中之影像像素之總數目與在影像直方圖之組格中之影像像素之總數目應相同。
    記憶體16包括隨像素值範圍(舉例而言，針對組格之像素值)而變之SNR值之該等經預計算表格。另一選擇係，記憶體16包括用於計算隨像素值而變之信號雜訊比值之一或多個預定義函數及參數值。應認識到，記憶體16可包括該等經預計算表格以及該一或多個預定義函數及參數兩者。記憶體16亦可包括不同影像感測器溫度之不同表格。此乃因SNR值取決於影像感測器之溫度。如下文所定義，可與方程式(A)一起使用方程式(G)、(H)、(I)及(J)來預計算該等表格。如下文所定義，該等預定義函數可係基於方程式(A)、(G)、(H)、(I)及(J)之函數。
    根據本發明之一項實施例，影像組合器6及/或影像直方圖提供器8可係影像感測器4之組成部分/若干組成部分。
    根據本發明之一項實施例，計算器12可實施於攝影機1之處理器14中。
    圖2圖解說明用於估計一輸出影像之一SNR平均值之一方法之一實施例。該方法包括：提供100劃分成若干組格之一影像直方圖，該影像直方圖包括關於在該輸出影像之影像像素當中的像素值之分佈之資訊，每一組格包括具有在一預定範圍內之像素值之一影像像素組；針對該影像直方圖之每一組格，賦予102一信號雜訊比值；針對該影像直方圖之每一組格，用在彼組格之該影像像素組中之影像像素之數目對彼組格之該信號雜訊比值加權104；對該等組格之該等經加權信號雜訊比值求和106；及將該等組格之經加權信號雜訊比值之該總和除以108該輸出影像之影像像素之總數目。如上文所提及，另一選擇係，可將該等組格之經加權信號雜訊比值之該總和除以在該影像直方圖之該等組格中之影像像素之總數目。
    根據本發明之一項實施例，該輸出影像包括具有源自複數個影像(如舉例而言，具有不同曝光時間之影像)之影像像素之像素值之影像像素。為了獲得輸出影像之影像像素之像素值，自該複數個影像中之一第一影像之影像像素獲取輸出影像之影像像素中之某些影像像素之像素值。可藉由自該複數個影像中之一第二影像之影像像素獲取像素值來獲得輸出影像之影像像素之其他像素值。且最終可藉由組合來自該複數個影像中之該第一影像及該第二影像兩者之影像像素之像素值來獲得輸出影像之影像像素之像素值中之某些像素值。
    在輸出影像係自複數個影像拼接之一影像之情形中，針對包括具有藉由組合來自該複數個影像中之至少兩個影像之影像像素之像素值而獲得之像素值之影像像素的影像直方圖之該等組格中之組格，賦予一信號雜訊比值之動作包括：組合來自該複數個影像中之該至少兩個影像之該等影像像素之該等像素值之信號雜訊比值。
    多重曝光影像之所估計SNR值
    如上文所提及，一隨機變量S之SNR值係定義(用於成像之定義)為：
    其中E[S]係信號S之期望值，且ó係信號S之標準差。該信號(亦即，自影像感測器輸出之每一感測器像素之像素值之數位碼輸出或類比轉數位單位(ADU))係轉換為使用感測器特定轉換因子Cf產生之電子之對應數目。
    其中G f 係在計算影像直方圖之前添加至信號之任何類比或數位增益。
    針對在影像直方圖中之每一組格之SNR值之計算，對應於每一組格之像素值可用作期望值。此係一公平假定，此乃因在一組格中之諸多影像像素具有相同像素值，且稍後當計算一輸出影像之SNR平均值時將加權得出可能針對具有小數目個影像像素之組格發生之可能之假貢獻。
    在此情形中，針對信號之標準差，僅計及像素值、讀取雜訊ó r 及光子散粒雜訊ó ph (由於暗電流經常由使用光學黑參考感測器像素之感測器移除)。熟習此項技術者認識到，當估計標準差時可計及其他因素。
    通常針對每一感測器預計算讀取雜訊ó r ，且該讀取雜訊通常取決於(例如)擷取影像之影像感測器之溫度。由於入射於感測器像素上之光子之數目遵循一泊松分佈(Poisson distribution)之事實，因此出現光子散粒雜訊ó ph 。因此：
    聚集此等雜訊源給出一總雜訊：
    當拼接複數個影像以達成一經拼接輸出影像時，可藉由組合來自該複數個影像之影像像素之像素值來獲得該經拼接輸出影像之影像像素之像素值。舉例而言，當形成一多重曝光影像(例如，一多重曝光HDR影像)時，使用源自具有不同曝光時間之影像之影像像素之像素值。為了計算在該經拼接輸出影像中之每一影像像素之每一像素值之一所估計SNR值，需要計及所執行之影像拼接。該經拼接輸出影像之影像像素之像素值係自構成該經拼接輸出影像之該複數個影像獲取。針對該經拼接輸出影像之某些影像像素，使用來自該複數個影像中之一第一影像之像素值，且針對該經拼接輸出影像之某些其他影像像素，使用來自該複數個影像之一第二影像之像素值。此外，針對該經拼接輸出影像之某些其他影像像素，可使用在來自該複數個影像中之至少兩個影像之影像像素之像素值之間的一經內插像素值。針對多重曝光影像之情形，使用在兩個相鄰曝光之兩個影像像素之間的一經內插像素值以獲得具有來自該複數個影像中之一者以上之貢獻之影像像素之像素值。針對具有藉由內插來自該複數個影像中之至少兩者之影像像素之像素值而獲得之一像素值的影像像素，組合來自每一像素值(來自該複數個影像中之該至少兩者)之雜訊。因此，藉由內插來自該複數個影像中之至少兩者之影像像素之像素值而獲得之經拼接輸出影像之一影像像素之一像素值之雜訊係用以獲得彼特定影像像素之像素值之像素值之經組合雜訊。
    下文係如何估計一多重曝光影像之一影像像素之SNR值之一實例，其中一像素值係內插於兩個曝光T 1 與T 2 之間。假定該像素值係在該兩個曝光之間的一經加權(及經按比例縮放)值：S=αS[T 1]+ε r βS[T 2]；α+β=1 (E)
    加權因子á及â經選擇以使得在於彼處僅使用T 1 曝光之像素值之T1終點處將全權數給予T 1 且反之亦然。曝光時間比år係一已知因子。信號在較短曝光T 2 時需要經按比例縮放以匹配T1資料。此外，假定 有效地稱在該兩個曝光之間在影像視圖中不存在運動。此通常將給出一正確值。
    由於轉換為對應數目個所產生之光子之經聚集信號，因此得出(使用方程式(B)、(E)及(F))：
    現在對於標準差，為在此處提供幫助，使用不相關隨機變量之標準差之以下性質：
    最終，使用方程式(D)及(G)得出：
    且使用(F)得出：
    然後針對在影像直方圖中之像素值，可與方程式(A)一起使用方程式(G)、(H)、(I)及(J)來計算與包括具有彼像素值之經拼接輸出影像之影像像素的影像直方圖之一組格相關聯之SNR值。
    針對具有源自該複數個影像中之僅一者之一像素值之經拼接輸出影像之影像像素，可僅將對應加權因子設定為零。
    若存在產生一個以上內插區域之兩個以上曝光，則熟習此項技術者認識到，可以與上文所闡述之相同方式處置此情況。
    在US2009/0059039及US20100310190中更詳細地論述了如何組合一多重曝光影像之影像像素之SNR值，US2009/0059039及US20100310190以引用之方式併入本申請案。
    在圖式及說明書中，已揭示了本發明之較佳實施例及實例，且儘管採用特定術語，但其僅在一泛用及闡述性意義上使用且並非出於限制在以下申請專利範圍中陳述之本發明之範疇之目的。
    1‧‧‧攝影機
    2‧‧‧外殼
    3‧‧‧透鏡
    4‧‧‧影像感測器
    6‧‧‧影像組合器
    8‧‧‧影像直方圖提供器
    10‧‧‧信號雜訊比值賦值器
    12‧‧‧計算器
    14‧‧‧處理器
    16‧‧‧記憶體
    圖1係根據本發明之一實施例之一攝影機之一示意圖。
    圖2係展示根據本發明之一實施例之一方法之一示意性流程圖。
    1‧‧‧攝影機
    2‧‧‧外殼
    3‧‧‧透鏡
    4‧‧‧影像感測器
    6‧‧‧影像組合器
    8‧‧‧影像直方圖提供器
    10‧‧‧信號雜訊比值賦值器
    12‧‧‧計算器
    14‧‧‧處理器
    16‧‧‧記憶體
    权利要求:
    Claims (15)
    [1] 一種用於提供包括若干個影像像素之一輸出影像之一估計之一信號雜訊比平均值之方法，該輸出影像之每一影像像素具有一像素值，該方法包括：提供劃分成若干組格之一影像直方圖，該影像直方圖包括關於在該輸出影像之該等影像像素當中的像素值之分佈之資訊，每一組格包括具有在一預定範圍內之像素值之一影像像素組，針對該影像直方圖之每一組格，賦予一信號雜訊比值，針對該影像直方圖之每一組格，用在彼組格之該影像像素組中之影像像素之數目對彼組格之該信號雜訊比值加權，對該等組格之該等經加權信號雜訊比值求和，及將該等組格之經加權信號雜訊比值之該總和除以該輸出影像之影像像素之總數目或在該影像直方圖之該等組格中之影像像素之總數目。
    [2] 如請求項1之方法，其中該輸出影像包括具有源自複數個影像之影像像素之像素值之影像像素。
    [3] 如請求項2之方法，其中已使用不同曝光時間擷取該複數個影像。
    [4] 如請求項2或3之方法，其中在該輸出影像中之一第一影像像素之像素值係來自該複數個影像中之一第一影像之一影像像素之一像素值，且在該輸出影像中之一第二影像像素之像素值係來自該複數個影像中之一第二影像之一影像像素之一像素值。
    [5] 如請求項2或3之方法，其中該輸出影像之該等影像像素中之至少一者之一像素值係藉由組合來自該複數個影像中之至少兩個影像之影像像素之像素值而獲得之一像素值。
    [6] 如請求項5之方法，其中針對包括具有藉由組合來自該複數個影像中之至少兩個影像之影像像素之像素值而獲得之一像素值之該影像像素的該影像直方圖之該等組格中之組格，賦予一信號雜訊比值之該動作包括：組合來自該複數個影像中之至少兩個影像之該等影像像素之該等像素值之信號雜訊比值。
    [7] 一種電腦可讀記錄媒體，在該電腦可讀記錄媒體上已記錄有用於當在具有處理能力之一裝置上執行時實施如請求項1至6中任一項之方法之一程式。
    [8] 一種經配置用於提供包括若干個影像像素之一輸出影像之一估計之一信號雜訊比平均值的攝影機(1)，其中該影像之每一影像像素具有一像素值，該攝影機包括：一影像感測器(4)，其經配置以擷取用以導出該輸出影像之該等影像像素之像素值之像素值，一影像直方圖提供器(8)，其經配置以提供包括關於在該輸出影像之該等影像像素當中的像素值之分佈之資訊之一影像直方圖，該影像直方圖之每一組格包括具有在一預定範圍內之像素值之一影像像素組，一信號雜訊比值賦值器(10)，其經配置以針對該影像直方圖之每一組格賦予一信號雜訊比值，及一計算器(12)，其經配置以藉由以下方式計算該信號雜訊比平均值：針對該影像直方圖之每一組格，用在彼組格之該影像像素組中之影像像素之數目對彼組格之該信號雜訊比值加權；對該等組格之該等經加權信號雜訊比值求和；及將該等組格之經加權信號雜訊比值之該總和除以該輸出影像之影像像素之總數目或在該影像直方圖之該等組格中之影像像素之總數目。
    [9] 如請求項8之攝影機，其進一步包括一影像組合器(6)，該影像組合器(6)經配置以組合源自由該影像感測器(4)擷取之複數個影像之影像像素之像素值以形成該輸出影像。
    [10] 如請求項9之攝影機，其中該複數個影像係使用不同曝光時間而擷取。
    [11] 如請求項9或10之攝影機，其中該影像組合器(6)經配置以使用來自該複數個影像中之一第一影像之一影像像素之一像素值形成該輸出影像之一第一影像像素之像素值，且使用來自該複數個影像中之一第二影像之一影像像素之一像素值形成該輸出影像之一第二影像像素之像素值。
    [12] 如請求項9或10之攝影機，其中該影像組合器(6)經配置以組合來自由該影像感測器擷取之該複數個影像中之至少兩個影像之影像像素之像素值以形成該輸出影像之該等影像像素中之至少一個影像像素之一像素值。
    [13] 如請求項12之攝影機，其中該信號雜訊比值賦值器(10)經配置以組合用以獲得該輸出影像之該等影像像素中之該至少一個影像像素之該等像素值的該複數個影像中之該至少兩個影像之該等影像像素之該等像素值之信號雜訊比值以針對包括該輸出影像之該等影像像素中之該至少一個影像像素的該影像直方圖之該等組格中之組格賦予該信號雜訊比。
    [14] 如請求項8至10中任一項之攝影機，其進一步包括一記憶體(16)，該記憶體(16)包括隨像素值而變之信號雜訊比值之表格或用於計算隨像素值而變之信號雜訊比值之一或多個預定義函數及參數值。
    [15] 如請求項8至10中任一項之攝影機，其中該影像直方圖之每一組格之該信號雜訊比值取決於該影像感測器(4)之溫度。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI507999B|2015-11-11|用於提供一影像之估計之信號雜訊比平均值之方法及攝影機
    US9955071B2|2018-04-24|Using captured high and low resolution images
    EP2636018B1|2016-02-10|Method for producing high dynamic range images
    US8179445B2|2012-05-15|Providing improved high resolution image
    US8466976B2|2013-06-18|Digital camera providing high dynamic range images
    JP2013066142A|2013-04-11|画像処理装置、および画像処理方法、並びにプログラム
    TW201503692A|2015-01-16|運動適性成像控制方法、運動適性成像系統以及電腦程式產品
    JP2011100204A|2011-05-19|画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
    JP2005197952A|2005-07-21|撮像装置及び撮像方法
    JP2008085634A|2008-04-10|撮像装置及び画像処理方法
    EP3804294A2|2021-04-14|Hdr image generation from single-shot hdr color image sensors
    JP4872830B2|2012-02-08|撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法
    CN111345032B|2021-12-31|图像传感器、光强感知系统及方法
    JP2015142364A|2015-08-03|画像処理装置、撮像装置、及び画像処理方法
    JP2020005093A|2020-01-09|撮像装置、撮像装置の制御方法、及びプログラム
    JP2018050231A|2018-03-29|撮像装置、撮像方法および撮像制御プログラム
    JP6362070B2|2018-07-25|画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
    Meuel et al.2018|Physical High Dynamic Range Imaging with Conventional Sensors
    CN112598609A|2021-04-02|一种动态图像的处理方法及装置
    JP2016054355A|2016-04-14|画像処理装置およびその制御方法ならびにプログラム
    Fierro et al.2010|RAW Image Files: The Way To HDR Images From A Single Exposure
    JP2011234148A|2011-11-17|画像信号処理装置
    同族专利:
    公开号 | 公开日
    EP2552099B1|2013-08-28|
    KR20130014025A|2013-02-06|
    JP2013031175A|2013-02-07|
    EP2552099A1|2013-01-30|
    CN102905084B|2015-06-24|
    US8553110B2|2013-10-08|
    US20130027589A1|2013-01-31|
    KR101576237B1|2015-12-09|
    TWI507999B|2015-11-11|
    JP5420730B2|2014-02-19|
    CN102905084A|2013-01-30|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    TWI493508B|2013-11-28|2015-07-21||Method and device for detecting object image with improved classification efficiency|JPH11341344A|1998-05-26|1999-12-10|Toshiba Corp|ダイナミックレンジ拡大機能を備えた電子カメラ|
    JP4344964B2|1999-06-01|2009-10-14|ソニー株式会社|画像処理装置および画像処理方法|
    US6650774B1|1999-10-01|2003-11-18|Microsoft Corporation|Locally adapted histogram equalization|
    KR100339368B1|2000-07-18|2002-06-03|구자홍|영상 신호의 잡음 크기 추정 방법 및 장치|
    EP1410326B1|2001-07-12|2011-01-26|DxO Labs|Procede et systeme pour modifier la qualite d'image|
    US20060039622A1|2002-10-23|2006-02-23|Koninklijke Philips Electronics N.V.|Sharpness enhancement|
    DE602004014901D1|2004-04-29|2008-08-21|Mitsubishi Electric Corp|Adaptive Quantisierung einer Tiefenkarte|
    JP2006074252A|2004-08-31|2006-03-16|Fuji Photo Film Co Ltd|画像読取装置及び暗出力補正方法|
    US7652788B2|2006-06-23|2010-01-26|Nokia Corporation|Apparatus, method, mobile station and computer program product for noise estimation, modeling and filtering of a digital image|
    GB2443663A|2006-07-31|2008-05-14|Hewlett Packard Development Co|Electronic image capture with reduced noise|
    JP4541370B2|2007-02-16|2010-09-08|日本放送協会|Ｓｎｒ測定方法、ｓｎｒ測定装置およびｓｎｒ測定プログラム|
    JP4306750B2|2007-03-14|2009-08-05|ソニー株式会社|撮像装置、撮像方法、露光制御方法、プログラム|
    JP2009004945A|2007-06-20|2009-01-08|Sony Corp|計測装置および方法、プログラム、並びに記録媒体|
    US20090059039A1|2007-08-31|2009-03-05|Micron Technology, Inc.|Method and apparatus for combining multi-exposure image data|
    US7940311B2|2007-10-03|2011-05-10|Nokia Corporation|Multi-exposure pattern for enhancing dynamic range of images|
    WO2009097552A1|2008-02-01|2009-08-06|Omnivision Cdm Optics, Inc.|Image data fusion systems and methods|
    US8346008B2|2009-06-09|2013-01-01|Aptina Imaging Corporation|Systems and methods for noise reduction in high dynamic range imaging|
    KR20120078851A|2011-01-03|2012-07-11|삼성전자주식회사|이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들|JP5506864B2|2011-06-20|2014-05-28|富士フイルム株式会社|画像処理装置、画像処理方法および画像処理プログラム|
    US9208749B2|2012-11-13|2015-12-08|Htc Corporation|Electronic device and method for enhancing readability of an image thereof|
    CN103888679A|2014-03-13|2014-06-25|北京智谷睿拓技术服务有限公司|图像采集方法及图像采集装置|
    CN103888689B|2014-03-13|2017-10-31|北京智谷睿拓技术服务有限公司|图像采集方法及图像采集装置|
    EP2938064B1|2014-04-24|2016-10-12|Axis AB|Method and apparatus for determining exposure setting|
    DE102014114328A1|2014-10-02|2016-04-07|Connaught Electronics Ltd.|Kraftfahrzeug-Kameravorrichtung mit Histogramm-Spreizung|
    KR102273656B1|2014-11-24|2021-07-05|삼성전자주식회사|광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템|
    US10360667B2|2015-08-19|2019-07-23|Battelle Memorial Institute|Biological material fouling assessment systems and methods|
    US9674460B1|2015-11-19|2017-06-06|Google Inc.|Generating high-dynamic range images using varying exposures|
    GB2569593B|2017-12-20|2021-05-26|Apical Ltd|Exposure ratio control|
    KR102287082B1|2021-05-11|2021-08-25|김관태|다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    EP20110175609|EP2552099B1|2011-07-27|2011-07-27|Method and camera for providing an estimation of a mean signal to noise ratio value for an image|
    [返回顶部]